Gated Bidirectional Linear Attention for Generative Retrieval
用于生成式检索的门控双向线性注意力
🧭 生成式推荐 · 线性注意力 ★ 深度解读
Yandex
提出GBLA混合编码器，以1:2交错自注意力与线性注意力，在长序列生成式检索中匹配双向自注意力质量，推理加速最高8.2倍
📌 工作参考价值（4 点）
- 混合编码器是工程落地的优选策略：在生成式推荐编码器中，以[SA, LA, LA]模式（1个标准自注意力层 + 2个线性注意力层）替换全自注意力，能在几乎不损失召回率的同时大幅降低长序列下的延迟，适合历史行为序列极长的电商或流媒体场景。
- GBLA的三个轻量组件可以直接复用：针对线性注意力添加上下文卷积（Conv1D）、Key门控（soft forgetting）和RMSNorm门控输出，每个组件带来约0.5-1个点的Recall提升，实现成本低，可在自研模型里快速实验。
- 双向注意力对编码器至关重要：实验表明编码器用双向掩码比因果掩码在Recall@10上绝对高出9个百分点以上，设计生成式推荐编码器时应坚决保留双向上下文。
- 长序列推理加速的临界点：在H100上，序列长度超过4096时线性注意力开始反超FlashAttention-v3，到32K时加速8.2倍；这提示在用户序列长度上万级别时，线性注意力是延迟瓶颈的有效解法。